フラッシュ検出

专利摘要:
画像信号を処理する方法は、フレームの連続を有する画像信号を受信するステップと、各フレーム上で光源検出を実行するステップと、フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、フレームｎ+ｍ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、及び、フレームｎ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第２の閾値よりも下であること、という基準が満たされたときに、長さｍのフレームのうちのフレームｎでフラッシュを検出するステップとを有する。
公开号:JP2011510390A
申请号:JP2010542708
申请日:2009-01-12
公开日:2011-03-31
发明作者:マルク；エイ ペテルス
申请人:コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ；
IPC主号:G06T7-20

专利说明:

[0001] この発明は、信号を処理するための方法及びシステムに関する。本処理は、フラッシュ検出を提供し、この出力は、コンテンツ解析アルゴリズムを向上させるために用いられ得る。]
背景技術

[0002] 人々がテレビを観ること、及び、ＤＶＤ観賞等のビジュアルコンテンツを含む他のアクティビティに携わることは一般的である。斯様なビデオコンテンツの観賞に関するユーザ体験は、将来的に変化するだろう。第１のサインは、例えば、テレビ観賞の体験を強化するためにランプが追加される、フィリップスのテレビ製品において既に普及している。映画を観ること等の娯楽体験を増大させるために他のデバイス及び追加の機能を追加するというこのプロセスは、成長している。ベンチャー"amBX"（例えば、www.ambx.com参照）は、適切な増強アルゴリズムを用いてユーザに対して提供され得る効果的な記述を含む、オリジナルオーディオ／ビデオコンテンツと一緒に、スクリプトを再生することにより、テレビ観賞等の体験をもっと強化するために次のステップを準備している。ユーザの娯楽空間内の追加のデバイスは、ビデオコンテンツに増強を供給する。]
[0003] 例えば、米国特許公開第２００２６９８１７号明細書は、リアルワールド演出システムを開示しており、これは、デバイスのセットを有し、各デバイスは、１又はそれ以上のリアルワールドパラメータ、例えば、オーディオ及びビジュアル特性を供給するために設けられる。複数のデバイスのうち少なくとも１つのデバイスは、マークアップ言語の命令セットの形式でリアルワールド記述を受信するように設けられ、デバイスは、前記記述に従って動作される。前記言語において表された一般用語は、リアルワールド体験をユーザに対してレンダリングするようにデバイスを動作させるために、ローカルサーバ又は分配されたブラウザのいずれかにより解釈される。この手法において、スクリプトが配信され、これは、オリジナルコンテンツを配信するテレビと一緒に他のデバイスを制御するために用いられる。]
[0004] しかしながら、追加のデバイスにおいて追加の効果を生成するために用いられるスクリプトを記述することが必要である。記述プロセスを支援するために、多くのアプリケーションは、別の手法で手動で実行されるべきプロセスを自動化するためにコンテンツ解析を用いる。コンテンツの生成、例えばamBXスクリプトに関連して、十分訓練された作者は、フレーム毎に動画を調べて、光の表示を開始／停止したい特定のフレームを選択する。この光は、ビデオシーケンス中のもの（背景、爆発、オブジェクト）に適合する色をもつ。]
[0005] 動画のためのamBXスクリプトを生成するために、かなりの時間が、ビデオ内の時間位置を正確に決定すること、及び、特定の時間インスタンスで光効果を生成するために用いられる色をマッチングすることに費やされる。コンテンツ解析は、スクリプト作者に対して大きな利点を提供し得る。例えば、光が変化され得る時間的な作者位置を与えるショットカットが自動的に検出され得る。また、支配色は、サンプルフレームの選択又はショット中の各フレームに対して抽出され、この支配色から、特定のショット又は時間間隔における色にマッチする色のセットが提案され得る。後者の一例は、MPEG7支配色記述子を用いることであり、これは、フレームに対して８色までの色を与える。斯様な（MPEG7支配色）記述子の平均を決定するために、一方は、PH006244 (ID685945), Dominant color descriptors, Marc A. Peter, Pedro M.F.S. Fonsecaにおいて提案された方法を用いる。色を選択するための他方の方法、例えばヒストグラムが同様に勿論用いられ得る。]
[0006] ビデオシーケンス中の光のフラッシュは、任意のコンテンツ解析プロセスの結果に影響を与え得ることが知られている。光のフラッシュの出現は、誤ったショットカットを生成し、これは、フラッシュが生ずる特定のフレームの色に非常に強く影響を与え、色が関連する任意の色解析の不正確な結果を与える。特に、コンテンツの特定のタイプ、例えば多くの爆発を伴うアクション動画、又は、多くの点滅光を伴う動画に関して、コンテンツ解析プロセスの結果は、スクリプト作者が望むものからは程遠くなり得る。
ショットカットは、ビデオコンテンツ中のフラッシュに実際に対応する解析アルゴリズムにより生成されるだろう。]
[0007] この既知の問題を対処するために、米国特許第５６４２２９４号明細書は、フレーム間（frame to frame）の強度の差分を比較することに基づくショットカット検出方法について説明している。この文献は、ビデオ中のフラッシュライトの誤った検出の可能性をカットとして排除するように規定されるシステムについて説明している。フラッシュライトを含む画像データシーケンスが画像Ａ，Ｂ，＊，Ｄ，Ｅ・・・で構成され、フラッシュライトのために画像＊が他の画像Ａ，Ｂ，Ｄ及びＥよりも明るいと仮定した場合には、画像Ａと画像Ｂとの間の距離ｄ（Ａ，Ｂ）が小さくなるが、画像＊の強度レベルが画像Ｂ及び画像Ｄのものよりも高いので、距離ｄ（Ｂ，＊）及びｄ（＊，Ｄ）は大きな値をとる。従来の方法の幾つかは、距離ｄ（Ｂ，＊）が特定の閾値よりも大きいかどうかに依存してカットポイントを決定し、それ故にフラッシュライトをカットポイントとして誤って検出するという欠点をもつ。距離ｄ（Ｂ，＊）は、同様にカットポイントで大きくなるが、これは、距離ｄ（＊，Ｄ）が大きな値をとるというフラッシュライトの特性である。この特性の利用は、カットポイントとフラッシュライトとの間の区別を可能にし、それ故、カットポイントの錯認を阻止するだろう。]
[0008] しかしながら、この手法には幾つかの欠点がある。第一に、フラッシュは、現れるのに１つのフレームだけをとる必要はなく、多くの場合において、これは、光源まで／光源から徐々に増大（又は減少）する２つ又は３つのフレームをとる。フレームからフレームへの別個の強度の変化は、大幅に大きい必要はない。第二に、フレーム間の動きの問題が考慮されるときには、前述されたこの文献の原理はもはや働かない。これは、フラッシュの後に、フラッシュ前の状態に戻されるようにフレームが処理されるからである。しかしながら、幾つかの顕著な動きでは、これは当てはまらない。実際には、これは、累積的な動きがより大きな影響を与えるので、フラッシュが１つのフレームよりも長く持続し得ることを考慮するときには、より多くの問題になるだろう。第三に、この文献におけるフラッシュ検出は、フラッシュをもつフレームがより明るいフレームであるという概念に基づいている。これは、厳密には常に正しくない。例えば、簡単に、美しい白色の背景をとり、その上に暗い青色光を放つ。画像フレームは、フラッシュを発生したにも関わらず、明るくならないだろう。]
[0009] 同様に、米国特許第６０１４１８３号明細書は、デジタル化されたビデオデータストリームを監視し、場面変化がビデオストリーム内で発生するときを検出するデバイスに関する。このデバイスは、フレームからフレームのフレーム内の各画素色を比較することにより場面変化を検出する。一のフレームから次のフレームへの画素色の高い度合いの変化が検出された場合には、これは、場面変化として識別される。]
[0010] このデバイスは、合成色データによる感度境界の交差がソフトウェアプログラムにより検出される場面変化を生ずる必要がないように構成される。閾値コマンドは、感度限界を超えるフレームの後の予め決められた数のフレームを調べるために用いられ得る。例えば、色データが感度境界（潜在的な場面変化）のうち１つの感度境界を超えた後、場面検出プログラムは、場面が実際に変化したかどうかを決定するために、次の１０のフレームを最初のフレーム（感度境界を交差したフレームの前のフレーム）と比較する。初期フレームと比較したときに閾値窓内のフレームの大部分が感度境界を超えない場合には、これらは、恐らく場面変化ではなく、ビデオデータストリーム中の分離したイベントが、合成色値データに感度限界を一時的に超えさせた（例えば、ビデオにおいて電球が消えたが、場面は変化しなかった）。色を比較するというこの技術を伴う主な問題は、わずかのフレームの後に、一部の動きが色を大幅に変化させることができることであり、調べられたフレーム内の分離したイベントは、それ自体検出されないだろう。]
発明が解決しようとする課題

[0011] 従って、本発明の目的は、既知の技術を改良することにある。]
課題を解決するための手段

[0012] 本発明の第１の態様によれば、画像信号を処理する方法であって、フレームのシーケンスを有する画像信号を受信するステップと、各フレームにおいて光源検出を実行するステップと、フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、フレームｎ+ｍ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、及び、フレームｎ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第２の閾値よりも下であること、という基準が満たされたときに、長さｍのフレームのうちのフレームｎでフラッシュを検出するステップとを有する、方法が提供される。]
[0013] 本発明の第２の態様によれば、画像信号を処理するシステムであって、フレームのシーケンスを有する画像信号を受信するレシーバと、各フレームにおいて光源検出を実行し、フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、フレームｎ+ｍ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、及び、フレームｎ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第２の閾値よりも下であること、という基準が満たされたときに、長さｍのフレームのうちのフレームｎでフラッシュを検出するプロセッサとを有する、システムが提供される。]
[0014] 本発明の第３の態様によれば、画像信号を処理するための、コンピュータ読み取り可能な媒体上のコンピュータプログラムであって、フレームのシーケンスを有する画像信号を受信する命令と、各フレームにおいて光源検出を実行する命令と、フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、フレームｎ+ｍ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、及び、フレームｎ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第２の閾値よりも下であること、という基準が満たされたときに、長さｍのフレームのうちのフレームｎでフラッシュを検出する命令とを有する、コンピュータプログラムが提供される。]
[0015] 本発明によれば、処理されたフレーム内において、処理されたフレーム内の移動によっても、オブジェクトの動きに起因した色の変化によっても影響を受けない堅調な方法で、正確で効果的にビデオシーケンス中のフラッシュを検出することが可能となる。ビデオコンテンツ中のフラッシュは、多くのアプリケーションの結果に影響を与え得る。前述したように、フラッシュは、誤ったショットカットを生じさせ得る。また、ショット又は場面の（平均の）色は、フラッシュの結果のために変化され得る。斯様な変化は多くの場合に望ましくない。更に、本提案は、フラッシュの種類、即ちその色及びその強度も検出する。この情報は、ショット中の色又はフラッシュの色を決定する等、アプリケーションに対して非常に役立つ。斯様な情報は、例えばamBXスクリプト作者にとって非常に重要である。]
[0016] 有利に、フレームの検出された光源は、色空間中のポイントを有する。フレーム内における光源の決定は、フレーム内における画素の光推定をベクトルとして供給する主成分分析（ＰＣＡ；principal component analysis）等のアルゴリズムを用いて実行され得る。このアルゴリズムの出力は、色空間中の三次元ベクトルとして構成され、三次元ベクトルは、色空間中のポイントを計算するために用いられ、ポイントは、２つのフレーム間の光源の変化を決定するときに比較プロセスで用いられる。検出された光源は、フレーム内の画素の主成分ベクトル上のポイントである。]
[0017] 好ましくは、本方法は、フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上である、フレームｎのルックアップテーブルを保持するステップを更に有する。これは、フレームのシーケンス中のフラッシュの検出を非常に簡素にする。２つの連続するフレーム間の光源の大きな変化（第１の閾値よりも上）が検出される度に、そのフレームｎは、フレーム番号としてルックアップテーブル内に格納される。これは、２つの連続するフレーム間の光源の更に大きな変化が検出されるときはいつでも、これがルックアップテーブル内に格納された前のフレームと比較され、どれがフラッシュの開始であったのかを調べることを意味する。フラッシュは、これらが終了した時にのみ検出され、フラッシュの開始を見つけるために過去を見る。]
[0018] 理想的には、本方法は、値ｍ、即ち検出されたフラッシュのフレームの長さが、予め決められた数よりも上である場合には、フラッシュの検出を抑制するステップを更に有する。誤ったフラッシュの検出を回避するために、制限は、フラッシュの開始と終了との間の（フレーム中の）最大許容ギャップ上に置かれる。予め決められた数は例えば５であってもよい。これは、８フレームの長さｍをもつフレームｎでフラッシュが検出される場合に、このフラッシュが誤った結果として切り捨てられることを意味する。フラッシュの検出は、これにより、データのこのセットに関連して抑制される。]
[0019] 本発明の実施形態は、添付図面を参照して、例示によってのみ説明されるだろう。]
図面の簡単な説明

[0020] ビデオ信号の概略図である。
画像フレームの図である。
比較のための、フレームの周りに表示された予測光源を伴う、図２の画像フレームの他の図である。
色空間の図である。
色空間の図である。
画像フレームのシーケンスの概略図である。
信号を処理する方法のフローチャートである。
信号を処理するためのシステムの概略図である。] 図２
実施例

[0021] 図１は、画像信号１０を示し、これは、フレーム１４の連続１２を有する。画像信号１０は、ビデオ信号であり、例えば、信号１０の毎秒２５のフレーム１４を伴うテレビ放送環境において用いられる。信号１０を処理する方法が以下に開示され、これは、信号１０内において光のフラッシュを検出する。斯様なフラッシュは、例えばフレーム１４内において捕獲されたコンテンツ内において引き起こされる爆発（explosion）又はマッチ（match）によりもたらされる。ショット検出及び色検出等の多くの既知の技術が光フラッシュの存在により影響を受け、フラッシュ検出がうまく実行されない場合に誤った結果を戻すので、光のフラッシュの検出は便利である。連続１２内における名目上のフラッシュは、参照番号１６で示される。このフラッシュ１６は、フレームｎで始まり、ｍフレームの間続く。この場合において、ｍは４に等しい。] 図１
[0022] フレーム１４のシーケンス１２内において光のフラッシュの存在を検出するために、各フレーム１４のための光源推定が実行される必要がある。それ故、シーケンス１２内においてフラッシュを検出するときには、シーンに入る光源を決定する必要がある。プロセス中のこのステップのために、既知の技術、主成分分析（ＰＣＡ）を用いることが可能である。ＰＣＡの詳細の一例は、K. V. Mardia，J. T. Kent及びJ. M. Bibbyによる"Multivariate Analysis"(Academic Press, London, 1979)で見られる。概念を例示するために、短い導入部分が背景情報として与えられるだろう。]
[0023] 図２は、画像フレーム１４の一例である。用いられた光推定手順の裏にある意図は、画像に入る光が画像の白色部分で反射されることにある。画像中の全ての画素は、輝度に応じて光源の色に色付けされるだろう。画像フレーム１４中の全ての画素を考慮し、これらを（線形）ＲＧＢ空間内の三次元立方体において見る場合には、ここに配置された画素を伴う三次元空間が生成される。復号されたビデオストリームのＲＧＢ値は、線形ではないガンマ補正ベクトルである。線形の光を推定するために、値は、最初に線形ＲＧＢに変形される。ガンマ補正の詳細は、Charles Poyntonによる"Digital Video andHDTV"で見られる。] 図２
[0024] 前述されたＰＣＡアルゴリズムはこのデータを用い、以下の変形を行う。起点としての平均値から開始する。軸は、第１の軸（主成分）が画素のセットにおける大部分の変化に関与する態様で、３つの新たな軸に変形される。主軸を最小二乗推定の結果とみなすことも可能である。最後のステップは、実際の光源に対応する主軸上のポイントを推定することである。これは、主軸上に画素を投射し、寄与が大幅である場所を確認することにより行われ得る（即ち、符号化するためにそこにあるかもしれないので１つの画素をとることを回避する）。]
[0025] 画像フレーム１４の結果は、フレーム１４の周りのバンドとして示された光源１８を伴って図３で示される。光源自体は画像において可視ではないことに留意されたい。これは、関心のある領域の光源を見つけるために、画像フレーム１４の部分に対して同様に行われてもよいことにも留意されたい。利用可能な光源がない場合において、アルゴリズムは、画像の最も支配的な色の１つを生じさせ、これは、非常に合理的である。図２及び３は、残念ながら黒及び白にレンダリングされるので、ステージ上のパフォーマを照らすスポットライトである光源は青みがかった色であり、これは、フレーム１４上で光源１８の検出を実行するプロセスにより決定された色であることが説明されるべきである。光源１８を決定するこのプロセスは、信号１０を作り出す連続１２内の各フレーム１４に対して実行される。] 図２ 図３
[0026] 図４及び５は、図２及び３のフレーム１４内の画素の色空間２０の表示を示している。この情報は、フレーム内の光源を計算するために用いられる。最初に、ＰＣＡ変形が実行される。この変形が図５の色空間２０において実行されると、三次元ベクトル２２が示され、これは、画像フレーム１４内の主成分の計算である。ＰＣＡアルゴリズム（ベクトル２２）の出力は、フレーム１４内の画素に対する不変の結果である。このベクトル２２は、フレーム１４内の光源１８を計算する手法として用いられる。一実施形態において、フレーム１４内の検出された光源は、三次元色空間２０中のポイントである。前記ポイントは、ベクトル２２がフレーム１４内の画素のクラスタにより規定された空間を出るような場所で決定されるか、又は、ベクトルの起点から最も離れたポイントの（予め規定された境界内における）ベクトル２２に最も近く若しくはベクトル２２上のいずれかであるクラスタ中の最後の画素である。決定された光源は、起点から、又は、フレーム１４中の画素の平均値から、前記のように決定されたポイントまでの方向である。] 図２ 図４ 図５
[0027] 光源の決定がフレーム１４に対して一旦行われると、フラッシュ検出が実行され得る。フラッシュ検出は、光源推定の結果に基づいて実行される。前述されたＰＣＡアルゴリズムは、フレームの平均ＲＧＢ値、主成分の（長さ１に正規化された）方向、及び、他の２つの軸と比較した主成分の分散に対する寄与に関して、非常に安定した結果を与える。更に、実際の光源の推定は、光源の実際のＲＧＢ値に関する情報を与える。]
[0028] フレーム１４の一例となるシーケンス１２が図６に示されている。シーケンス中のフレーム間の差分を比較することにより、フレーム１４のこのシーケンス１２を考慮すると、以下の基準が満たされた場合に、以下のような長さｍのフレームｎでフラッシュを検出することが可能である。
・フレームｎ−１及びフレームｎの光源が大幅に異なる。
・フレームｎ+ｍ−１及びフレームｎ+ｍの光源が大幅に異なる。
・フレームｎ−１及びフレームｎ+ｍの光源が非常に類似する。] 図６
[0029] これらの３つの基準は、どのフレーム１４が一緒に比較されるか、及び、各フレーム中の検出された光源が異なるか又は類似であるかを示す矢印により、図面において示される。フレームのシーケンスにおいて、ｎ及びｍの値の一例は、ｎ＝２０及びｍ＝３である。これは、フラッシュがフレーム２０で検出されたことを意味し、これは、３フレーム続く。フレーム１９及び２０は、大幅に異なる光源をもつ。フレーム２２及び２３は、大幅に異なる光源をもち、フレーム１９及び２３は、類似する光源をもつ。フレーム２０，２１及び２２である、フラッシュを作り出すフレームは、フラッシュがフレームの間において増大するか又は一定のままであるかに依存して、類似する光源をもつ必要はない。]
[0030] "相違"及び"類似"の関連する概念を定量化するために、２つの異なる閾値は、規定された基準が適合されたかどうかをアルゴリズムを介して決定するために、測定された光源に適用される。フレームｎ−１及びフレームｎ中の検出された光源間の差分は、第１の予め決められた閾値よりも上でなければならない。同様に、フレームｎ+ｍ−１及びフレームｎ+ｍ中の検出された光源間の差分は、第１の予め決められた閾値よりも上でなければならない。フレームｎ−１及びフレームｎ+ｍ中の検出された光源間の差分は、第２の予め決められた閾値よりも下でなければならない。]
[0031] ＰＣＡアルゴリズムからの情報を用いる場合には、光源間の距離の大きさ、例えばＲＧＢ値間のユークリッド距離、及び、軸方向間の角度を容易に規定することが可能である。閾値は、変化が大幅であるか又はそうでない場合を示すために用いられる。フレームの検出された光源は、色空間中にポイントを有する。]
[0032] 以下の表は、３つの連続するフレームに対する一連の値を示している。]
[0033] このテーブルにおいて、中間の３つの行は、各フレーム内の画素の平均値を与える。多くの映画で見られるように、非常に多くのフレームは主に黒であるので、見て分かるように、０から２５５の大きさで示されるように、これらの値は、黒に向かう傾向にある。主に黒であるフレーム内の明るい色の小さな要素は、平均値にあまり影響を与えない。しかしながら、ＰＣＡアルゴリズムが（図５中のベクトル２２として示されたタイプの）主ベクトルを生成するために一旦用いられると、（一実施形態においてベクトル上のポイントである）光源の決定は、テーブルの上側の３つの行により表され、これは、検出された光源に対してＲＧＢ値を与える。前述したように、ベクトルがフレーム中の画素を表す三次元空間内の画素の"集団（cloud）"を出るので、この値は、ＰＣＡベクトル上のポイントである。角度は、下側の３行において、平均ＲＧＢ値から、上側の３つの行の空間中のＲＧＢポイントへの方向により作られたものである。] 図５
[0034] 前記のテーブルは、３つのフレームに対する光源検出から値を与える。推定された光源は、一部のグレイ／青みがかった値（Ｒ＝１８８，Ｇ＝２１４，Ｂ＝２４６）から、クリアブルーの値（Ｒ＝１２８，Ｇ＝１７０，Ｂ＝２５３）に変化し、元に戻る。また、フレームの平均色も変化する。同様に、方向も大幅に変化する。（Ｒ方向＝０．４１，Ｇ方向＝０．５４，Ｂ方向＝０．７２）と（Ｒ方向＝０．２２，Ｇ方向＝０．４０，Ｂ方向＝０．８８）との間の角度は１９度である。従って、角度の変化は、明らかであり、第１のフレームと第３のフレームとの間の角度が最小であることも明らかである。この場合において、フラッシュは、ｎ＝２及びｍ＝１で検出し、フレーム２（ｎの値）で開始し、１つだけのフレーム（ｍの値）の間続くフラッシュである。]
[0035] 更に、わずかのフレームで、どれぐらい長い間フラッシュが続くかの限界があることが有利である。これは、値ｍ、即ち検出されたフラッシュのフレームの長さが、予め決められた数よりも上である場合に、フラッシュの検出を抑制することにより実行される。これは、誤ったフラッシュの検出を阻止する。]
[0036] 図７は、信号１０のフレーム１４内においてフラッシュを検出するために、信号１０を処理する方法の一実施形態を要約している。この方法論は、フラッシュの終了が検出されるように構成され、本方法は、フラッシュの開始を見つけるために前のフレーム１４を振り返ることが理解されるべきである。この目的の達成を支援するために、本プロセスは、フレームｎ−１及びフレームｎの検出された光源間の差分が第１の予め決められた閾値よりも上である、フレームｎのルックアップテーブルを保持することを含む。] 図７
[0037] フローチャートにおいて、第１のステップは、第１のフレームの光源を検出することである（ステップＳ１）。ステップＳ２では、次のフレーム中の光源の検出が実行される。ステップＳ３では、現在のフレーム及び直前のフレームの光源に関する値が比較される。２つの値の間に大きな違いがないがない場合には、プロセスはステップＳ２に戻る。一方、２つの値の大きな違いが検出された場合には、プロセスはステップＳ４に移動する。ステップＳ４では、現在のフレーム番号が、フラッシュの潜在的開始又は終了として、ルックアップテーブル内に格納される。ルックアップテーブル内に格納された前のフレームに基づいて比較が行われる場合に、プロセスはステップＳ５に移動する。現在のフレームの光源は、ルックアップテーブル内に格納されたフレームに直接先行するこれらのフレーム内の光源と比較され、これらの間の差分が第２の閾値よりも下（類似）であるかどうかを確認する。もしそうであるならば、フラッシュが検出され、もしそうでないならば、フラッシュは検出されず、プロセスは、フレーム１４を介して循環し続ける。]
[0038] フラッシュ検出は、幾つかのプロセスに対して用いられ得る。例えば、ショットカット検出を向上させるために用いられ得る。強力なフラッシュがショットカットと見なされ得る。フラッシュ検出によれば、誤ったショットカットが除去され得る。プロセスは、フレームの間隔を表す支配色を向上させるために用いられてもよい。特に、間隔内に比較的大きなフラッシュがある場合、又は、サブサンプリングが用いられるときには、平均色に対するフラッシュの影響は大幅に変化し得る。フラッシュに属するフレームを回避することにより、特定の間隔の一般的な色の非常に正確な記述を与えることが可能となる。加えて、検出されたフラッシュ自身は、特定の場合に照明効果を生成するために用いられてもよい。例えば、爆発（エクスプロージョン）では、部屋が最適な色でライトアップし得る。前述したように、これらのアプリケーションは、amBXスクリプト等のアプリケーションに関するコンテンツ解析結果の品質を向上させるアプリケーションである。ビデオ中の光源又は色情報を用いるいずれのアプリケーションも有利になり得る。]
[0039] 画像信号１０を処理するためのシステムが図８に示されている。本システムは、フレーム１４の連続１２を有する画像信号１０を受信するように構成されたレシーバ２４と、プロセッサ２６とを有する。プロセッサは、各フレーム１４上で光源検出を実行するように構成された光源検出要素２８と、必要な基準が満たされるときに長さｍのフレームのうちのフレームｎでフラッシュを検出するように構成されたフラッシュ検出要素３０とを含む。前記で詳述したように、これは、フレームｎ−１及びフレームｎの検出された光源間の差分が第１の予め決められた閾値よりも上であり、フレームｎ+ｍ−１及びフレームｎ+ｍの検出された光源間の差分が第１の予め決められた閾値よりも上であり、フレームｎ−１及びフレームｎ+ｍの検出された光源間の差分が第２の予め決められた閾値よりも下であるときに発生する。] 図８
[0040] プロセッサ２６により実行されたフラッシュ検出に加えて、ビデオ信号１２が要素３２で解析され、ショットカットが検出される。同時に、フレーム１４は、光源に対して解析され、フレーム１４は、支配色に対しても解析される。光源検出の結果は、フラッシュを検出するために用いられ、フラッシュは、要素３４で、誤って識別されたショットカットを除去するために用いられる。最後に、各ショットに対して、プロセッサ２６は、ショット内のフレームの全て（又はサブサンプリングのセット）の支配色を用いて、要素３６で全体の支配色を決定するように構成される。要素３８は、要素３４からの情報を用いて、ショット内の支配色を決定するために用いられ得る。フラッシュ検出自身は、フラッシュの色を即座に与える。]
[0041] 前述されたビデオシーケンス中のフラッシュを検出するシステムは、従来技術を大幅に超える改良である。これは、１よりも多くのフレームに続くフラッシュを検出することができ、フラッシュの時間に渡ってフレーム内の動作に影響を受けない堅調で効果的なシステムである。実際には、光の実際の供給源がフレーム内において移動する場合には、本プロセスは、正しく動作するだろう。光源が弱い場合であっても、方向が大幅に変化するだろう。これは、２つのフレームの主成分間の角度により測定され得る。本プロセスは、フレームの相違よりもむしろ光源を見ている。光源は、フレーム内のオブジェクトの動作及び移動のために変化しないだろう。]

权利要求:

請求項1
画像信号を処理する方法であって、フレームの連続を有する画像信号を受信するステップと、各フレーム上で光源検出を実行するステップと、フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、フレームｎ+ｍ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、及び、フレームｎ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第２の閾値よりも下であること、という基準が満たされたときに、長さｍのフレームのうちのフレームｎでフラッシュを検出するステップとを有する、方法。
請求項2
フレームの検出された光源は、色空間内のポイントを有する、請求項１に記載の方法。
請求項3
フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上である、フレームｎのルックアップテーブルを保持するステップを更に有する、請求項１又は請求項２に記載の方法。
請求項4
検出された前記フラッシュのフレームの長さである値ｍが予め決められた数よりも上である場合に、フラッシュの検出を抑制するステップを更に有する、請求項１〜３のうちいずれか一項に記載の方法。
請求項5
画像信号を処理するシステムであって、フレームの連続を有する画像信号を受信するレシーバと、各フレーム上で光源検出を実行し、フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、フレームｎ+ｍ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、及び、フレームｎ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第２の閾値よりも下であること、という基準が満たされたときに、長さｍのフレームのうちのフレームｎでフラッシュを検出するプロセッサとを有する、システム。
請求項6
フレームの検出された光源は、色空間内のポイントを有する、請求項５に記載のシステム。
請求項7
前記プロセッサは、フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上である、フレームｎのルックアップテーブルを保持する、請求項５又は請求項６に記載のシステム。
請求項8
前記プロセッサは、検出された前記フラッシュのフレームの長さである値ｍが予め決められた数よりも上である場合に、フラッシュの検出を抑制する、請求項５〜７のうちいずれか一項に記載のシステム。
請求項9
画像信号を処理するための、コンピュータ読み取り可能な媒体上のコンピュータプログラムであって、フレームの連続を有する画像信号を受信する命令と、各フレーム上で光源検出を実行する命令と、フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、フレームｎ+ｍ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第１の予め決められた閾値よりも上であること、及び、フレームｎ−１の検出された光源とフレームｎ+ｍの検出された光源との間の差分が第２の閾値よりも下であること、という基準が満たされたときに、長さｍのフレームのうちのフレームｎでフラッシュを検出する命令とを有する、コンピュータプログラム。
請求項10
フレームの検出された光源は、色空間内のポイントを有する、請求項９に記載のコンピュータプログラム。
請求項11
フレームｎ−１の検出された光源とフレームｎの検出された光源との間の差分が第１の予め決められた閾値よりも上である、フレームｎのルックアップテーブルを保持する命令を更に有する、請求項９又は請求項１０に記載のコンピュータプログラム。
請求項12
検出された前記フラッシュのフレームの長さである値ｍが予め決められた数よりも上である場合に、フラッシュの検出を抑制する命令を更に有する、請求項９〜１１のうちいずれか一項に記載のコンピュータプログラム。